Huỳnh Ngọc Sơn sinh ngày 10 tháng 10 năm 1951 tại Phường Hòa Quý, quận Ngũ Hành Sơn, TP Đà Nẵng. Vào Đảng ngày 06/8/1971.

Năm 1965, ông tham gia cách mạng

Ông trưởng thành từ Quân đoàn 4. Giữ các chức vụ từ tiểu đội trưởng tới Sư đoàn trưởng Sư đoàn 9.

Tháng 2 năm 1993, ông được bổ nhiệm Quyền sư trưởng Sư đoàn 9.

Tháng 9 năm 1993, ông được bổ nhiệm Sư trưởng sư đoàn 9 thay ông Đào Văn Lợi.

Tháng 7 năm 1997, ông được bổ nhiệm giữ chức Phó tư lênh- Tham mưu trưởng Quân đoàn 4 thay ông Đào Văn Lợi.

Năm 1999, ông được bổ nhiệm giữ chức Phó Tư lệnh kiêm Tham mưu trưởng Quân khu 5 thay Thiếu tướng Trần Minh Thiệt tử nạn máy bay tại Lào.

Tháng 1 năm 2005, bổ nhiệm giữ chức Tư lệnh Quân khu 5 thay ông Nguyễn Khắc Nghiên.

Ngày 25 tháng 4 năm 2006, ông trúng cử Ủy viên Trung ương Đảng khóa X.

Ngày 23 tháng 7 năm 2007, ông được bầu giữ chức Phó Chủ tịch Quốc hội nước Cộng hòa Xã hội Chủ nghĩa Việt Nam.

Ngày 18 Tháng 01 năm 2011, ông tái cử Ủy viên Trung ương Đảng khóa XI.

Ngày 23 tháng 7 năm 2011, ông tái cử chức Phó Chủ tịch Quốc hội nước Cộng hòa Xã hội Chủ nghĩa Việt Nam.

Ngày 14 tháng 02 năm 2015, tại Phủ Chủ tịch, Chủ tịch nước Trương Tấn Sang đã trao quyết định thăng hàm Thượng tướng cho đồng chí Huỳnh Ngọc Sơn, Phó Chủ tịch Quốc hội, nguyên Tư lệnh Quân khu 5.

Ngày 02 tháng 04 năm 2016, tại Kỳ họp thứ 11 Quốc hội khóa XIII, ông được Quốc hội miễn nhiệm chức vụ Phó Chủ tịch Quốc hội nước Cộng hòa Xã hội Chủ nghĩa Việt Nam.